Gemma की मदद से कॉन्टेंट जनरेट करना और अनुमान लगाना

Gemma मॉडल चलाने के लिए, आपको दो अहम फ़ैसले लेने होंगे: 1) आपको कौनसा Gemma वैरिएंट चलाना है और 2) इसे चलाने के लिए, एआई के किस फ़्रेमवर्क का इस्तेमाल करना है? इन दोनों फ़ैसलों को लेने में सबसे अहम बात यह है कि आपके और आपके उपयोगकर्ताओं के पास मॉडल को चलाने के लिए कौनसा हार्डवेयर उपलब्ध है.

इस खास जानकारी से, आपको इन फ़ैसलों को समझने और Gemma के मॉडल के साथ काम करने में मदद मिलेगी. Gemma मॉडल को चलाने का सामान्य तरीका यहां बताया गया है:

कोई फ़्रेमवर्क चुनना

Gemma मॉडल, जनरेटिव एआई के कई फ़्रेमवर्क के साथ काम करते हैं. Gemma मॉडल चलाने के लिए, यह तय करना ज़रूरी है कि आपके पास मॉडल चलाने के लिए कौनसे कंप्यूटिंग संसाधन हैं या होंगे. ज़्यादातर काम करने वाले एआई फ़्रेमवर्क के लिए, Gemma मॉडल को असरदार तरीके से चलाने के लिए, खास हार्डवेयर की ज़रूरत होती है. जैसे, जीपीयू या TPU. Google Colab जैसे टूल, सीमित तौर पर ये खास कंप्यूट संसाधन उपलब्ध करा सकते हैं. एआई को लागू करने वाले कुछ फ़्रेमवर्क, जैसे कि Ollama और Gemma.cpp की मदद से, x86-compatible या ARM आर्किटेक्चर का इस्तेमाल करके, Gemma को ज़्यादा सामान्य सीपीयू पर चलाया जा सकता है.

यहां अलग-अलग एआई रनटाइम फ़्रेमवर्क के साथ Gemma मॉडल चलाने के लिए गाइड दी गई हैं:

पक्का करें कि आपने जिस Gemma मॉडल फ़ॉर्मैट को डिप्लॉय करने का फ़ैसला लिया है वह आपके चुने गए फ़्रेमवर्क के साथ काम करता हो. जैसे, Keras नेटिव फ़ॉर्मैट, Safetensors या GGUF.

Gemma का कोई वैरिएंट चुनना

Gemma मॉडल कई वैरिएंट और साइज़ में उपलब्ध हैं. इनमें फ़ाउंडेशन या कोर Gemma मॉडल के साथ-साथ, ज़्यादा बेहतर वैरिएंट वाले मॉडल भी शामिल हैं. जैसे, PaliGemma और DataGemma. साथ ही, Kaggle और Hugging Face जैसी साइटों पर एआई डेवलपर कम्यूनिटी ने कई वैरिएंट बनाए हैं. अगर आपको यह तय नहीं हो पा रहा है कि आपको किस वैरिएंट से शुरू करना चाहिए, तो सबसे कम पैरामीटर वाला नया Gemma कोर निर्देश-ट्यून किया गया (IT) मॉडल चुनें. इस तरह के Gemma मॉडल के लिए, कम कंप्यूटिंग ज़रूरत होती है. साथ ही, इसे अतिरिक्त डेवलपमेंट की ज़रूरत के बिना, कई तरह के प्रॉम्प्ट का जवाब देने में मदद मिलती है.

Gemma का कोई वैरिएंट चुनते समय, इन बातों का ध्यान रखें:

  • Gemma कोर और अन्य वैरिएंट फ़ैमिली, जैसे कि PaliGemma, CodeGemma: Gemma (कोर) का सुझाव दें. मुख्य वर्शन के अलावा, Gemma के वैरिएंट का आर्किटेक्चर, मुख्य मॉडल जैसा ही होता है. साथ ही, इन्हें खास टास्क को बेहतर तरीके से पूरा करने के लिए ट्रेन किया जाता है. जब तक आपका ऐप्लिकेशन या लक्ष्य, किसी खास Gemma वैरिएंट के विशेषज्ञता के साथ अलाइन नहीं होता, तब तक Gemma के कोर या बेस मॉडल से शुरू करना सबसे अच्छा होता है.
  • निर्देश के हिसाब से ट्यून किया गया (IT), पहले से ट्रेन किया गया (PT), बेहतर तरीके से ट्यून किया गया (FT), और अलग-अलग तरह के डेटा का इस्तेमाल करके बनाया गया (मिक्स): IT का सुझाव दें.
    • निर्देश के हिसाब से (आईटी) Gemma के वैरिएंट ऐसे मॉडल होते हैं जिन्हें कई तरह के निर्देशों या अनुरोधों का जवाब देने के लिए, मानवीय भाषा में ट्रेन किया गया है. इन मॉडल वैरिएंट से शुरुआत करना सबसे सही है, क्योंकि ये मॉडल ट्रेनिंग के बिना प्रॉम्प्ट का जवाब दे सकते हैं.
    • पहले से ट्रेन किए गए (पीटी) Gemma वैरिएंट ऐसे मॉडल होते हैं जिन्हें भाषा या अन्य डेटा के बारे में अनुमान लगाने के लिए ट्रेन किया गया है. हालांकि, इन्हें इंसानों के निर्देशों का पालन करने के लिए ट्रेन नहीं किया गया है. इन मॉडल को टास्क को असरदार तरीके से पूरा करने के लिए, अतिरिक्त ट्रेनिंग या ट्यूनिंग की ज़रूरत होती है. ये मॉडल, उन रिसर्चर या डेवलपर के लिए हैं जो मॉडल और उसके आर्किटेक्चर की क्षमताओं का अध्ययन करना चाहते हैं या उन्हें डेवलप करना चाहते हैं.
    • बेहतर (एफ़टी) Gemma वैरिएंट को आईटी वैरिएंट माना जा सकता है. हालांकि, आम तौर पर इन्हें किसी खास टास्क को पूरा करने या किसी खास जनरेटिव एआई मानदंड पर बेहतर परफ़ॉर्म करने के लिए ट्रेन किया जाता है. PaliGemma वैरिएंट फ़ैमिली में, कई FT वैरिएंट शामिल हैं.
    • मिक्स किए गए (मिक्स) Gemma वैरिएंट, PaliGemma मॉडल के ऐसे वर्शन होते हैं जिन्हें अलग-अलग निर्देशों के हिसाब से ट्यून किया गया है. ये सामान्य इस्तेमाल के लिए सही होते हैं.
  • Parameters: उपलब्ध सबसे छोटी संख्या का सुझाव दें. आम तौर पर, किसी मॉडल में जितने ज़्यादा पैरामीटर होते हैं उसकी परफ़ॉर्मेंस उतनी ही बेहतर होती है. हालांकि, बड़े मॉडल चलाने के लिए, बड़े और ज़्यादा जटिल कंप्यूटिंग संसाधनों की ज़रूरत होती है. साथ ही, आम तौर पर एआई ऐप्लिकेशन के डेवलपमेंट में ज़्यादा समय लगता है. अगर आपने पहले से यह तय नहीं किया है कि Gemma के छोटे मॉडल से आपकी ज़रूरतें पूरी नहीं हो सकतीं, तो कम पैरामीटर वाला मॉडल चुनें.
  • क्वांटाइज़ेशन लेवल: ट्यूनिंग के अलावा, आधा सटीक (16-बिट) का सुझाव दें. क्वांटाइज़ेशन एक जटिल विषय है. यह इस बात पर निर्भर करता है कि डेटा का साइज़ और सटीक जानकारी क्या है. साथ ही, इससे यह भी तय होता है कि जनरेटिव एआई मॉडल, कैलकुलेशन और जवाब जनरेट करने के लिए कितनी मेमोरी का इस्तेमाल करता है. किसी मॉडल को ज़्यादा सटीक डेटा के साथ ट्रेन करने के बाद, उसमें बदलाव किया जा सकता है. आम तौर पर, ज़्यादा सटीक डेटा 32-बिट फ़्लोटिंग पॉइंट डेटा होता है. Gemma जैसे मॉडल में बदलाव करके, 16, 8 या 4-बिट साइज़ जैसे कम सटीक डेटा का इस्तेमाल किया जा सकता है. टास्क की जटिलता के आधार पर, ये क्वांटाइज़ किए गए Gemma मॉडल अब भी बेहतर परफ़ॉर्म कर सकते हैं. साथ ही, ये कम कंप्यूट और मेमोरी संसाधनों का इस्तेमाल करते हैं. हालांकि, क्वांटाइज़ किए गए मॉडल को ट्यून करने के लिए टूल सीमित हैं. ऐसा हो सकता है कि ये टूल, आपके चुने गए एआई डेवलपमेंट फ़्रेमवर्क में उपलब्ध न हों. आम तौर पर, आपको Gemma जैसे मॉडल को पूरी तरह से सटीक बनाने के लिए फ़ाइन-ट्यून करना होगा. इसके बाद, उस मॉडल को क्वांटाइज़ करना होगा.

Google के पब्लिश किए गए मुख्य Gemma मॉडल की सूची के लिए, Gemma मॉडल इस्तेमाल करना शुरू करें, Gemma मॉडल की सूची देखें.

जनरेशन और अनुमान के अनुरोध चलाना

एआई एक्सीक्यूशन फ़्रेमवर्क और Gemma का कोई वैरिएंट चुनने के बाद, मॉडल को चलाया जा सकता है. साथ ही, उसे कॉन्टेंट जनरेट करने या टास्क पूरे करने के लिए कहा जा सकता है. किसी खास फ़्रेमवर्क के साथ Gemma को चलाने के तरीके के बारे में ज़्यादा जानने के लिए, फ़्रेमवर्क चुनें सेक्शन में लिंक की गई गाइड देखें.

प्रॉम्प्ट फ़ॉर्मैट करना

निर्देशों के हिसाब से बनाए गए Gemma के सभी वैरिएंट के लिए, प्रॉम्प्ट के फ़ॉर्मैट से जुड़ी खास ज़रूरी शर्तें होती हैं. फ़ॉर्मैटिंग से जुड़ी कुछ ज़रूरी शर्तों को, Gemma मॉडल चलाने के लिए इस्तेमाल किए जाने वाले फ़्रेमवर्क से अपने-आप मैनेज किया जाता है. हालांकि, प्रॉम्प्ट डेटा को सीधे तौर पर टोकनेटर को भेजते समय, आपको खास टैग जोड़ने होंगे. साथ ही, टैग करने से जुड़ी ज़रूरी शर्तें, इस्तेमाल किए जा रहे Gemma वैरिएंट के हिसाब से बदल सकती हैं. Gemma वैरिएंट के प्रॉम्प्ट के फ़ॉर्मैट और सिस्टम के निर्देशों के बारे में जानने के लिए, ये गाइड देखें: